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(57) Abstract 

The invention concerns an adaptive senso-motor encoder for a visual or acoustic prosthesis, said encoder having a central checking 
unit for signal-processing functions, monitoring functions, control functions and external action functions. The encoder further comprises 
a group of adaptive spatio-temporal filters for converting sensor signals into stimulation pulse sequences, a bi-directional interface being 
provided for coupling the encoder to an implantable micros tructure (2) for stimulating nerve or glia tissue and monitoring brain functions. 



(57) Zusammenfassung 

Die Erfindung betrifft einen lemfahigen, sensomotorischen Encoder fur eine Sehprothese Oder H6rprothese, mit einer zentralen 
Kontrolleinheit fur Signalverarbeitungsfunktionen, Oberwachungsfunktionen, Steuerfunktionen und externen Eingriffsfunkticmen, sowie mit 
einer Gruppe von adaptiven spatiotemporaien Filtern zur Umsetzung von Sensorsignalen in Stimulationspulsfolgen, wobei eine bidirektionale 
Schnittstelle zur Kopplung des Encoders mit einer implantierbaren Mikrostruktur (2) zur Stimulation von Nerven- oder Gliagewebe einerseits 
sowie zur FunktionsOberwachung von Hirnfunktionen andererseits vorgesehen ist. 
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Lernfahiger sensomotorischer Encoder fur Seh- oder Horprothe- 
sen 

Die vorliegende Erfindung betrifft ein Inf ormationsverarbei- 
tungssystem als lernfahiger, sensomotorischer Encoder fur ei- 
ne Sehprothese oder Horprothese zur bidirektionalen Kopplung 
mit implantierten Mikrokontakten zur Stimulation von Nerven- 
oder Gliagewebe einerseits sowie zur Funktionsuberwachung von 
Hirnfunktionen andererseits . 

Es sind mehrere Versuche bekannt, Sehprothesen fiir verschie- 
dene Gruppen von Blinden durch Implantation von Mikrokontak- 
ten an der Ausgangsschicht der Retina (RET) oder innerhalb 
des visuellen Cortex (VCO) zu entwickeln und durch Kopplung 
dieser Implantate mit externen Signalgebern (Encoder) ntitzli- 
che visuelle Wahrnehmungen auszulosen. Encoder ftir implan- 
tierbare Sehprothesen werden zum Beispiel in US 5,498,521, US 
5,351,314 oder WO95/06288 beschrieben, implantierbare Mikro- 
kontakte fur Retina, visuellen Cortex bzw. auditorische Sy- 
steme sind in US 5,597,381, US 5,569,307, US 5,549,658, US 
5, 545,219, US 5, 496,369, US 5, 411, 540, US 5,215, 088, US 
5,109,844 und US 4,628,933 beschrieben. Mit neuronalen Netzen 
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und visuellen Systeinen befassen sich die US 5,227, 886, EP 
0435559, US 3, 766, 311 sowie mit der Ansteuerung von Mikrokon- 
takten US 5,571,148, US 5,512,906, US 5,501,703, US 
5,441,532, US 5,411,540. 

Die Zielgruppen von RET-Projekten leiden unter retinalen De- 
generationserkrankungen (z.B. Retinitis pigmentosa; Makula 
Degeneration) , wobei die Schicht der Photorezeptoren degene- 
riert ist, jedoch zumindest ein Teil der retinalen Ganglien- 
zellen und des dort beginnenden Sehnervs sowie das zentrale 
Sehsystem noch funktionstuchtig sind. Wie die vorgenannten 
Druckschrif ten zeigen, wird an der Entwicklung verschiedener 
Arten von implantierbaren Mikrokontaktstrukturen (Stimula- 
tor) , die sich innerhalb des Augapfels an die Ganglienzell- 
schicht der Retina anschmiegen und an der Entwicklung von 
drahtlosen Signal- und Energieubertragungssystemen zur Ver- 
bindung zwischen dem externen Encoder und dem implantierten 
Stimulator, oder allgemein dem Interface gearbeitet. 

Der Erfinder hat sich die Aufgabe gestellt, einen lernfahigen 
Encoder fur eine an der Retina oder der Sehrinde angekoppelte 
Sehprothese zur Umsetzung von Bildmustern, oder fur eine an 
geeigneten Bereichen des neuronalen Horsystems angekoppelte 
Horprothese zur Umsetzung von Schallmustern in Stimulations- 
signale durch adaptive, spatiotemporale Filter mit rezeptiven 
Feldeigenschaf ten der entsprechenden kontaktierten sensori- 
schen Neurone (RF-Filter) und deren optimaler Einstellung 
durch neuronale Netze als lernfahige Funktionsapproximatoren 
weiter zuentwickeln . 

Die Zielgruppen von VCO-Projekten haben typischerweise keine 
verwertbaren Sehnervf unktionen mehr und erfordern daher eine 
Implantation von z,B. kammahnlichen Mikrokontaktstrukturen in 
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Regionen des visuellen Cortex, also der Sehrinde, die direkt - 
dem Schadeldach zugewandt sind. 

Es sind auch mehrere Arten von Horprothesen (z.B. Cochlear- 
Implant) mit implantierten Mikrokontakten bekannt geworden, 
die Tauben eine teilweise Wiedergewinnung von Horwahrnehmun- 
gen ermoglichen. 

Die gegenwartig konzipierten Implantatsysteme sehen keine In- 
formationsverarbeitung der dynamischen Bildmusterdaten inner- 
halb des Sehsystems (z.B. Retina), jeweils vom optischen Ein- 
gang bis zu der durch implantierte Mikrokontakte kontaktier- 
ten neuronalen Schicht (z.B. Ganglienzellschicht der Retina, 
Oder Neuronenschicht im visuellen Cortex) vor. Statt dessen 
werden einfache Bildmuster (z.B, Linie) direkt als Stimulati- 
onssignale an die ortlich verteilten Mikrokontakte ohne indi- 
viduell angepafite Inf ormationsverarbeitung als Ersatz fur den 
hier technisch zu iiberbruckenden Teil des Sehsystems (z.B. 
Retina) weitergeleitet . Dem so rudimentar und nicht angepalit 
erregten Sehsystem fallt dabei die kaum losbare Aufgabe zu, 
aus den ortlich und zeitlich nicht korrekt vorverarbeiteten 
oder codierten Signalverlauf en Sehwahrnehmungen zu generie- 
ren, die dem Bildmuster hinreichend ahnlich sind. Ferner wird 
die physiologische Verstellbarkeit der Sehempf indlichkeit 
(Leuchtdichte-Adaptation) tiber etwa 10 Dekaden und die damit 
verbundene funktionelle Anderung der rezeptiven Feldeigen- 
schaften in technischen Photosensorsystemen nicht beriicksich- 
tigt . 

Die gegenwartig entwickelten Implantatsysteme nutzen die 
technischen Moglichkeiten zum Einsatz der Sehprothese nicht 
zur Warming vor Gefahren und Meldung technisch erkannter Mu- 
ster an den Implantattrager . Entsprechendes gilt fur gegen- 
wartig entwickelte Implantatsysteme fur das Horsystem. 
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Das Sehsystem erwartet aufgrund seiner wahrend der Ontogenese- 
festgelegten und duirch langjahrige Sehwahrnehmungserf ahrungen 
vor Beginn der Blindheit stabi lisierten Struktur und Funktion 
z.B, von jeder retinalen Ganglienzelle uber den Sehnerv eine 
bestimmte Art der Inf ormationsverarbeitung der Bildmusterda- 
ten. Diese durch die zugehorigen rezeptiven Feldeigenschaf ten 
(RF) des Neurons neurophysiologisch umschriebene und fiir je- 
des Neuron sehr unterschiedliche Erwartung wird nicht er- 
fiillt, sofern z.B. die Funktion der elektronisch mit starrer 
Vorverarbeitung simulierten Retina nicht fur jeden einzelnen, 
durch Implantation hergestellten, Stimulationskontakt indivi- 
duell angepafit werden kann. Entsprechendes gilt fiir das Hor- 
system. 

Das fur den normalen Sehvorgang erf orderliche Zusammenwirken 
des von der Retina gespeisten, zentralen visuellen Systems 
mit einem Augenbewegungssystem und einem Akkommodationssystem 
wird als sensomotorisches 'Active Vision' System bezeichnet. 
Derartige Systeme fiir Mustererkennung, Objektverf olgung, Po- 
sitionserf assung von Objekten, usw. werden in bisherigen An~ 
satzen nicht berticksichtigt . Das Sehsystem benotigt jedoch 
Augenbewegungen ftir alle Sehleistungen und erbringt nicht nur 
Erkennungsleistungen (was?), sondern vor allem auch Positi- 
onserfassungsleistungen (wo?) zur Orientierung im Raum, die 
fiir Blinde im Bemuhen um die teilweise Wiedergewinnung des 
Sehvermogens oberste Prioritat haben. Die Auslosung von visu- 
ell induzierten Augenbewegungen ist jedoch bei der durch Im- 
plantatsysteme realistischen Stimulation von nur einem klei- 
nen Bruchteil der retinalen Ganglienzellen, oder der Neuronen 
im visuellen Cortex nicht zu erwarten. Daher kann das Sehsy- 
stem mit den bisher in Entwicklung befindlichen Implantaten 
die auf dem normalen Zusammenwirken mit Augenbewegungen ba- 
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sierenden Sehwahrnehmungen wenn iiberhaupt, nur sehr schlecht - 
leisten. 

Bei verschiedenen Blinden treten aufierdem unerwunschte, nicht 
visuell induzierte Augenbewegungen rait langsamen und schnel- 
len Phasen auf, die den optimalen Einsatz, also auch die Ak- 
zeptanz dieser Art von Sehprothesen erheblich behindern kon- 
nen. Wird z.B. der Encoder mit Photosensorarray am Augapfel 
befestigt, so wird der gewiinschte Fixationsort laufend durch 
die unerwunschten Augenbewegungen verstellt. Wird anderer- 
seits der Encoder z.B. in ein Brillengestell integriert, so 
kanndas Sehsystem die Bildmuster mit den nicht darauf abge- 
stimmten Augenbewegungen als mifiverstandliche Sehwahrnehmun- 
gen z.B. mit Scheinbewegungen auswerten, wie dies z.B. bei 
Schwindelwahrnehmungen der Fall ist. 

Ohne die Moglichkeit von visuell induzierten, realen Augenbe- 
wegungen und andererseits zusatzlich im Konflikt mit uner- 
wunschten spontanen Augenbewegungen, ist die visuelle Orien- 
tierung im Raum, die Positionserf assung diverser Objekte re- 
lativ zur Lage des eigenen Korpers, z.B. fur das angestrebte 
Ergreifen eines Turgriffes mit bisher in Entwicklung befind- 
lichen Sehprothesen, die zur Anderung der Blickrichtung auf 
Kopf-Rumpfbewegungen angewiesen sind, nur schwer moglich. Die 
zu implantierenden Strukturen haben eine sehr begrenzte Zahl 
von Mikrokontakten. Die Zahl der effektiv verwendbaren Mikro- 
kontakte ist noch kleiner, da die Kontakte durch die Implan- 
tation nur zum Teil hinreichend gtinstig relativ zu einer Ner- 
venzelle oder Faser positioniert werden konnen, daft durch 
Verwendung einzelner Kontakte, oder Kontaktpaare Nervenakti- 
onspotentiale mit vertretbar geringen Stimulationsamplituden 
ausgelost werden konnen. Bei den bisherigen Entwicklungen 
gibt es kaum Moglichkeiten, die Zahl der dauerhaft und selek- 
tiv kontaktierten Neuronen liber die bei Implantation zufallig 
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geschaffene Zahl hinaus zu erhohen. Dies ist ein Grund fur 
die nur geringe zu erwartende visuelle Wahrnehmungsqualitat . 
Entsprechendes gilt fiir Implantatsysteme des Horsystems. 

Die fiir eine Implantation gegenwartig entwickelten Mikrokon- 
taktstrukturen sowie Signal- und Energieiibertragungssysteme 
fur Sehprothesen f unktionieren unidirektional vom externen 
Encoder zum implantierten Stimulator und bieten daher keine 
Moglichkeit zur laufenden Uberwachung der neuronalen Im- 
pulsaktivitat der stimulierten Neuronen. Dadurch kann die 
Stimulationspulssequenz nicht an die Spontanaktivitat der 
Neuronen angepaftt werden. Ferner kann die Auslosung von- neu- 
robiologischen Impulsen durch Stimulationspulse nicht direkt 
tiberwacht werden. Aufterdem fehlt eine sichere Impulsiiberwa- 
chungsmoglichkeit fiir eine mogliche zeitliche Abstimmung und 
Synchronisation der Impulsfolgen mehrerer Neuronen. Entspre- 
chendes gilt fiir Implantatsysteme des Horsystems. 

Es ist die Aufgabe der vorliegenden Erfindung, diese Nachtei- 
le zu beseitigen und einen lernfahigen, sensomotorischen En- 
coder zu schaffen. 

Diese Aufgabe wird von einer Vorrichtung mit den Merkmalen 
des Anspruchs 1 gelost. 

Weil der Encoder in bidirektionaler Kopplung mit implantier- 
ten Mikrokontakten an der Retina, oder dem visuellen Cortex 
nach einer - vorzugsweise mit Hilfe neuronaler Netze im Dia- 
log mit dem Implantattrager durchgef iihrten - Funktionsabstim- 
mung auf den individuellen Bedarf arbeitet, kann durch tech- 
nische Bildmusterverschiebungen und simulierte Augenbewegun- 
gen diverse visuelle Erkennungs-, Verfolgungs- und Positi- 
onserf assungsauf gaben sowie die Meldung von Gefahren und 
technisch erkannten Mustern geleistet werden, die Zahl der 
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selektiv erreichbaren Stimulationsorte funktionell erhoht so- - 
wie die neuronale Aktivitat einzelner zu stimulierender Neu- 
ronen iiberwacht werden. Ferner kann der hier offenbarte En- 
coder Funktionen der Leuchtdichteadaptation und der Zusammen- 
stellung eines visuellen Arbeitsbereiches aus Ausschnitten 
eines groften Funktionsbereiches leisten. 

Bei Einsatz fur eine Horprothese wird der lernfahige Encoder 
entsprechende Leistungen im auditor ischen Bereich erbringen. 

Bei einer bevorzugten Ausf iihrungsf orm des Encoders fiir eine 
Sehprothese ist ein digitaler Signalprozessor (DSP) , bei- 
spielsweise das Modell C80 von Texas Instruments, mit einem 
Photosensorarray mit Optik als Lichtmusterempf anger , einem 
Vorverabeitungsmodul fiir visuelle Muster, einem Pulssignal- 
sender und Empfanger zur bidirektionalen Kommunikation mit 
der implantierten Struktur, mehreren Signalinterf aces zur 
Kommunikation mit der Bewertungseingabeeinheit , dem Kopfbewe- 
gungssensor, dem Augenbewegungssensor , dem Wahrnehmungs-, 
Warn-- und Erkennungssystem, Muster- und Obj ektmeldesystem und 
dem externen Oberwachungs- und Steuersystem in einem Brillen- 
gestell integriert . Die diversen lernfahigen Inf ormations- 
verarbeitungsfunktionen insbesondere fur RF-Filter, Dialogmo- 
dul, Mustererkennung und Active Vision Funktionen sind im DSP 
mit einer zentralen Kontrolleinheit realisiert . Der Benutzer 
empfangt einerseits Signale als Stimulationspulse oder Sin- 
neswahrnehmungen vom Encoder empfangt und sendet andererseits 
Signale iiber Kopf- und Augenbewegungen, sowie die Bewer- 
tungseingabe und neuronale Aktivitat an den Encoder. Der En- 
coder kann aufgrund einer bidirektionalen drahtlosen Signal- 
und Energieubertragung in einem Brillengestell, einer Haft- 
schale am Auge, am Korper, oder an einem korperfernen Ort be- 
festigt werden. SchlieBlich umfafit der spatiotemporale Funk- 
tionsraum der RF-Filter z.B. fur den Einsatz als Retina En- 
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coder die rezeptiven Feldeigenschaf ten retinaler Ganglienzel-. 
len oder anderer in'traretinaler Neuronenklassen der Primaten- 
retina. Entsprechendes gilt fur vorteilhafte Ausgestaltungen 
des Encoders bei Kopplung mit Neuronen der Sehrinde, oder im 
Fall einer Horprothese fur die Kopplung mit Neuronen des Hor- 
systems. 

Eine vorteilhafte Ausgestaltung eines Verfahrens zur Einstel- 
lung der RF-Filter des Encoders im Dialog mit dem Benutzer 
ist durch Fig. 1 und Fig. 2 schematisch dargestellt. Die RF- 
Filter sind als spatiotemporale Filter realisiert, deren spa- 
tiale und • temporale Funktionsparameter in einem zur Annahe- 
rung der rezeptiven Feldeigenschaf ten visueller Neuronen hin- 
reichend groJien Funktionsraum modifiziert werden, namlich 
durch an geeigneten Stellen in den Filteralgorithmen plazier- 
te, extern zugangliche Parameteraustauschpunkte . Ein Mensch 
teilt als normalsichtige Person oder Implantattrager in einem 
wahrnehmungsbasierten Dialog mit dem Encoder den Wahrneh- 
mungsvergleich zwischen Soil- und Ist-Muster, z.B. durch eine 
als Zeile von mehreren Schiebereglern gestaltete Bewertungs- 
eingabeeinheit (s. Fig. 2) an ein technisches neuronales Netz 
mit nichtuberwachter Lernregel mit, und das neuronale Netz 
legt den nachsten Parametervektor fur das RF-Filter sowie das 
nachste Soil-Muster mit dem Ziel der Verringerung der wahrge- 
nommenen Musterdif f erenz im nachsten Dialogschritt fest. Bei 
der Suche nach optimalen Parametervektoren ftir die RF-Filter 
konnen in dem Dialogmodul von einem neuronalen Netz mit 
nichtuberwachtem Lernen jeweils Parametervektoren erzeugt 
werden, die fur ein gegebenes prasentiertes Lichtmuster zu 
einer bestimmten Sehwahrnehmung ftihren und entsprechend sub- 
jektiv bewertet werden. Alternativ kann in dem Dialogmodul 
ein anderes Parameter-Einstellungssystem Sequenzen von Para- 
metervektoren zur virtuellen Bewegung im Funktionsraum des 
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RF-Filters z.B. als kontinuierliche Trajektorien nach Art von. 
Scanning oder Sweepverlauf en als regellose Folgen oder als 
Folgen von neurophysiologisch besonders typischen Filterfunk- 
tionen erzeugen,und der Benutzer wahrend dieser in einem ge- 
eigneten Zeittakt ablaufenden Sequenz gelegentlich aus dem 
Zusammenwirken des gegebenen Lichtmusters, des nachgeschalte- 
ten Vorverarbeitungsmoduls, des nachgeschalteten RF-Filters 
und dem uber den zugehorigen Mikrokontakt angekoppelten Teil 
des zentralen Sehsystems verursachte "sinnvolle" Wahrnehmun- 
gen melden. Anschliefiend wird in dem so gefundenen Bereich 
des Filterfunktionsraumes eine genauere Parameteroptimierung 
wahrnehmungsbasiert durchgef iihrt . Eine vorteilhafte Ausge- 
staltung der dialogbasierten Einstellung der RF-Filter des 
Encoders einer Horprothese erfolgt entsprechend. 

Bei der Erzeugung asynchroner Impulsf olgen werden die Aus- 
gangssignale der einzelnen RF-Filter durch geeignete Umset- 
zer-Algorithmen von den quasikontinuierlichen Zeitfunktionen 
der RF-Filter in asynchrone Impulsf olgen entsprechend der Ak- 
tivitat visueller Neuronen im Primatensehsystem gewandelt und 
Impulsfolgen-Zeitverlauf e sowie Zeitpunkte des Auftretens 
einzelner Impulse durch variable Zeitverzogerungsglieder in 
der Dialogphase verstellt. 

Normalsichtige Personen konnen eineh Wahrnehmungsvergleich 
zwischen einem Soli-Muster auf dem linken Schirm und einem 
korrespondierenden Ist-Muster auf dem rechten Schirm durch- 
fuhren. Eine vorteilhafte Ausgestaltung des Sehsystemmodelles 
fur den Wahrnehmungsvergleich bei normalsichtigen Personen 
besteht darin, daft es fur eine Reihe von RF-Filtern, einzeln 
oder als Gruppe die jeweils zugehorige inverse Abbildung lei- 
stet und dadurch in Hintereinanderschaltung mit dem Encoder 
jeweils fur genau festgelegte Parametervektoren auf dem rech- 
ten Schirm ein Ist-Muster mit grofter Ahnlichkeit zu dem Soil- 
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Muster erzeugt. Zu Beginn des Dialogs sind die Parametervek- . 
toren der RF-Filter auf beliebige Anf angswerte gestellt, so 
daft zunachst ein deutlicher Unterschied zwischen den Mustern 
besteht/ der jedoch im Verlauf des Dialogs mit nichttiberwach- 
tern Lernen laufend geringer wird. 

Die Funktionsanpassung der RF-Filter fur Implantattrager im 
wahrnehmungsbasierten Dialog erfolgt im Vergleich zur Funkti- 
onsanpassung fur normalsichtige Personen dadurch, daft die 
Ist-Wahrnehmung nicht auf einem Monitor, sondern nur dem Im- 
plantattrager intern zuganglich ist und daft die Soll- 
-Wahrnehmung dem Implantattrager z.B. als - Spraehinf -ormation 
oder als taktiles Beruhrungsmuster auf der Haut vermittelt 
wird. Beim Einsatz in Horprothesen ergibt sich Entsprechen- 
des, wobei statt des nicht zuganglichen Hororgans z.B. neben 
dem Tastsinn der hier verfiigbare Gesichtssinn zur Obermitt- 
lung der Soll-Wahrnehmung verwendet werden kann. 

Die zeitliche Kopplung der von mehreren RF-Filters des En- 
coders zur Auslosung von Nervenzellimpulsen erzeugten asyn- 
chronen Impulsfolgen besteht darin, daft die Sendezeitpunkte 
der einzelnen Impulssignale durch steuerbare Zeitverzoge- 
rungsglieder so variiert werden, daft sich eine zeitliche 
Kopplung bis hin zum genau synchronen Auftreten ergibt, daft 
die Variation der Zeitverzdgerung vom Implantattrager gesteu- 
ert wird, im Dialog wahrnehmungsbasiert iiber ein neuronales 
Netz erfolgt oder extern gesteuert wird, daft die Wahl der 
zeitlich zu koppelnden Impulsgruppen sowohl vom RF-Filter 
kommende als auch im Interface registrierte Impulse beruck- 
sichtigen kann und daft angesichts der sehr unterschiedlichen 
momentanen Impulsraten der verschiedenen RF-Filter geeignete 
Kriterien fur die Beteiligung einzelner Impulse an zu kop- 
pelnden Impulsgruppen festgelegt werden. 
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Zur funktionellen Erhohung der Zahl und Trennscharfe der se- . 
lektiv erreichbaren Stimulationsorte bei einer gegebenen Zahl 
von stationar implantierten Mikrokontakten werden die Impuls- 
signale von einem gegebenen RF-Filter an mehrere, drtlich be- 
nachbarte Mikrokontakte geleitet. Die aufgrund der Encoderbe- 
fehle genau fur jeden Mikrokontakt festgelegten und entspre- 
chend im Interface bezuglich Stromamplitude, Polaritat und 
Phasenlage decodierten Stimulationszeitfunktionen charakteri- 
stische Zeitverlaufe des elektromagnetischen Feldes im Be- 
reich der zu stimulierenden Neuronen bewirken, daft diese 
durch Superposition aufeinander abgestimmter Stimulations- 
signale an mehreren Mikrokontakten bewirkten Feldverteilungen 
ortlich und zeitlich selektiv neuronale Irapulserregungen aus- 
losen, dafi die selektiven Stimulationsorte durch geeignete 
Variation der superponierten Stimulationssignale schnell ge- 
wechselt werden kdnnen und dafi die entsprechende Variation, 
diversen Parameter der aufeinander abgestimmten Stimulations- 
signale im wahrnehmungsbasierten Dialog mit dem Implantattra- 
ger. tiber ein neuronales Netz, oder andere Signalvariations- 
verfahren wie z. B. eine kontinuierliche, sweepartige automa- 
tische Verstellung der Funktionsparameter der in Oberlagerung 
auf das Nervengewebe einwirkenden Stimulationsimpulse an be- 
nachbarten Elektroden zur Bestimmung mdglichst vieler, zu se- 
lektiver und trennscharf er neuronaler Erregung fiihrender, 
Stimulationsorte erfolgt. Ferner wird durch Vergleich regi- 
strierter neuronaler Impulse mit den Stimulationssignalen die 
Optimierung der Stimulationszeitfunktionen bezuglich ange- 
strebter Einzelzellselektivitat und dauerhafter Biovertrag- 
lichkeit verbessert. 

Zur Simulation von Augenbewegungen zum Einsatz des Encoders 
in einer Sehprothese wird eine Bildmusterverschiebung elek- 
tronisch in der Eingangsstuf e des Encoders durch optische Va- 
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riation der Blickrichtung z.B. mit Hilfe bewegter Spiegel 
Oder durch Bewegung der Photosensoren zur Simulation von Au- 
genbewegungen realisiert. Kopfbewegungen und Augenbewegungen 
werden durch mehrdimensional f unktionierende, mikrominiaturi- 
sierte Bewegungsdetektoren detektiert und eine neuronale Oder 
konventionelle Bewegungsregelung bzw. Steuerung wird unter 
Verwendung der detektierten Kopf- und Augenbewegungssignale 
und der Bildmusterverschiebung realisiert. Schnelle und lang- 
same Augenbewegungen fur Aufgaben der Mustererkennung, 
schnellem Umherblicken oder Augenf olgebewegungen werden er- 
zeugt, und durch geeignete Augenbewegungssequenzen mit 
schnellen und langsamen Phasen erfolgt eine optimale Anpas- 
sung des sensorischen Datenstromes an die Auf nahmebereit- 
schaft des zentralen Sehsystems . Bezuglich der Erzeugung von 
Augenfolgebewegungen besteht eine vorteilhafte Ausgestaltung 
darin, daft ein lernfahiger, neuronaler Pradiktor die zunachst 
unbekannte Bewegungszeitf unktion des zu verfolgenden Objektes 
aus dem Positions- und Bewegungsf ehler seiner Projektion auf 
dem Photosensor-Array erfafit, mit Hilfe geeigneter nichtli- 
nearer, lernfahiger Pradiktions-Algorithmen unter Beriicksich- 
tigung der analysierten Frequenzanteile der Objektbewegung 
intern mit rasch zunehmender Gewiflheit eine Objektverfol- 
gungs-Zeitfunktion mit minimaler Verzogerung bzw. sogar mit 
geringer Voreilung generiert und bei vorubergehendem Ver- 
schwinden des verfolgten Objektes z.B. ahnlich wie bei Augen- 
f olgebewegungssystem von Primaten eine Bewegungszeitfunktion 
erzeugt, die je nach Art des Objektes zu einer Fortsetzung 
der Verfolgung bei Wiederauf tauchen des relativ zum Sensor- 
array bewegten Objektes mit minimalem Positions- und Bewe- 
gungsf ehler fiihrt . 

Zur Detektion von Augen- und Kopfbewegungen und zur Kompensa- 
tion unerwunschter Augenbewegungen werden unter Verwendung 
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der detektierten Kopf- und Augenbewegungssignale und der si-, 
mulierten Augenbewegungen mit Hilfe einer neuronalen oder - 
konventionellen Bewegungsregelung bzw. Steuerung schnelle und 
langsame Augenbewegungen erzeugt. Mit Hilfe des Regelkreises 
werden nach einer entsprechenden Lernperiode unerwiinschte Au- 
genbewegungen kompensiert und daft ein aus Kopfbewegungsdetek- 
tor, Bildmusterverschiebung und einem neuronalen Netz beste- 
hender, in einer Lernphase optimierter Regelkreis eine hin- 
reichend gute Simulation des vestibulookularen Reflexes (also 
der automatisch ref lexartigen Stabilisierung der Blickrich- 
tung im Raum durch Augenbewegungen, die den auftretenden 
Kopfbewegungen genau entgegenwirken) leistet die Lagestabili- 
sierung der Bildmuster bei natiirlichen Kopf-Rumpfbewegungen 
durch entsprechend kompensatorische Augenbewegungen. 

Simulierte Augenbewegungen sowie kompensatorische Augenbewe- 
gungen sind als separat wahlbare Programme verfiigbar. Die 
einzelnen Bewegungs- und Verstellungsmoden konnen als separa- 
te, oder kombinierte Programme vom Implantattrager gewahlt, 
einem automatischen Betrieb zugewiesen oder extern festgelegt 
werden. 

Der Implantattrager kann durch eine mitgefiihrte Bef ehlseinga- 
beeinheit, z.B. als Manipulandum mit Tastatur, die gewiinsch- 
ten 'Active Vision' Funktionen, wie etwa Umherblicken, oder 
Objektverfolgung anwahlen. 

Die laufende Obermittlung der aktuellen Position von visuell 
oder auditorisch erfaliten Objekten im Raum an den Implantat- 
trager besteht darin, dafi die vom Encoder unter Auswertung 
von Bildmuster-, Schallmuster- , Augen- und Kopfbewegungen er- 
mittelte Objektposition mit Hilfe eines geeigneten, mitge- 
fUhrten Signalgebers an ein geeignetes Sinnesorgan, z.B. den 
Tastsinn, gemeldet wird und daii der Encoder durch interne Mu- 
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stererkennungsprogramme, insbesondere in Verbindung mit auto- 
matisch ablaufenden Augenbewegungen, den Implantat-Trager -vor 
Hindernissen bzw. Gefahren warnt sowie Art und Position tech- 
nisch erkannter Muster oder Objekte meldet. 

Ein Oberwachungssystem fiir eine teilweise sensomotorisch au- 
tonom agierende implantierte Struktur des Encoders besteht 
darin, daft die implantierten Mikrokontakte sowohl zur Stimu- 
lation, als auch zur Registrierung neuronaler Impulse verwen- 
det, daft die registrierten Impulse und weiteren physikali- 
schen oder chemischen Signale von der implantierten Struktur 
-durch geeignete Vorverstark-er und optische oder elektromagne- 
tische Sender an den Encoder gemeldet und daft dort die regi- 
strierten neuronalen Signale fur verschiedene Zwecke der En- 
coderfunktion weiterverarbeitet werden. 

Zur technischen Anpassung des Leuchtdichte-Arbeitsbereiches 
aus einem z.B. iiber sechs bis zehn Leuchtdichtedekaden rei- 
chenden Funktionsbereich des Photosensorarrays, der sowohl 
grofie Teile des skotopischen Bereiches der Dunkeladaptation 
als auch des photopischen Bereiches der Helladapation umfaflt, 
wird eine schnell verstellbare elektronische Abbildung auf 
einen internen Arbeitsbereich ftir den Encoder beztiglich Grofte 
und Adaptationsleuchtdichte wahrnehmungsbasiert, automatisch 
gewahlt oder vom Benutzer eingestellt. Dadurch werden visuel- 
le Szenen von sehr unterschiedlicher Leuchtdichte in den je- 
weiligen Arbeitsbereich komprimiert und Kontrastoptimierung 
sowie Blendungsvermeidung erzielt. Ferner besteht eine vor- 
teilhafte Ausgestaltung darin, daft die RF-Filterfunktionen 
z.B. entsprechend neurobiologisch bekannten Verlaufen mit dem 
Adaptationsbereich verstellt werden konnen. 



Bei einer vorteilhaf ten Ausf uhrungsf orm ist ein Vorverarbei- 
tungsmodul vorgesehen, das zur Erkennung charakteristischer 
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Muster und/oder zur Datenreduktion eingerichtet ist. Dabei . 
kann das Vorverarbeitungsmodul helle und dunkle Bildbereiche 
unterschiedlicher Beleuchtung erkennen, voneinander abgrenzen 
und zu einem Gesamtbild mit jeweils regional optimalem Kon- 
trast integrieren, ebenso konnen nahe und entfernt liegende 
Bildbereiche voneinander getrennt beziiglich Scharf einstellung 
optimiert und danach wieder als Gesamtbild integriert werden, 
und schlieiilich konnen charakteristische Muster wie z. B. 
Warnschilder hervorgehoben werden. Diese Vorverarbeitung kann 
zur Verbesserung der Bilddarstellung, aber auch zur Erzeugung 
von Warnhinweisen sowie zur Datenreduktion im Kommunikations- 
kanal zwischen der Kamera und dem Encoder dienen. 

Weiter ist es von Vorteil, wenn in einem Verf ahrensablauf die 
Adaptation der Akkommodation zunachst, beispielsweise im Vor- 
dergrund, scharf eingestellt werden, diese Bereiche gespei- 
chert werden und dann zweite Bereiche des Blickfeldes als 
Bild scharf eingestellt werden, beispielsweise der Hinter- 
grund eines Blickfeldes. Die dabei unscharf werdenden ersten 
Bereiche werden aus dem zweiten Bildmuster ausgeblendet und 
durch die ersten gespeicherten, scharf en Bereiche ersetzt. 
Hierdurch wird eine im Rahmen der geometrischen Optik nicht 
erreichbare Tief enscharf e erzeugt. Bei sich zyklisch wieder- 
holendem Ablauf dieser Verf ahrensschritte und einem entspre- 
chenden Bildausgleich kann dieser Vorgang von einem Benutzer 
unbemerkt bleiben, so daft auch bei geringen Lichtstarken und 
langen Brennweiten der zugehorigen Optik ein Bild von grofier 
Tiefenscharfe scheinbar erreicht wird. 

Das lernfahige Vorverarbeitungsmodul verarbeitet das Bildmu- 
ster Oder Schallmuster durch neuronale Netze oder in Hardware 
verfugbare Vorverarbeitungs-Algorithmen fur eine Sehprothese 
insbesondere beziiglich Farbe, Kontrast, Kantendetektion, Seg- 
mentierung und Figur-Hintergrund Trennung oder fur eine Hor- 



WO 98/36795 PCT/EP98/00968 

- 16 - 

prothese z. B. beztiglich Unterdruckung von Storgerauschen, 
unerwtinschten Formanten und Separation einzelner Schallquel- 
len, derart, dafi das nachgeschaltete RF-Filter Array erheb- 
lich vereinfachte und teilweise aus dem Musterraum in einen 
Merkmalsraum abgebildete Bildmuster oder Schallmuster erhalt, 
die dem kontaktierten Teil des Sehsystems bzw. Horsystems 
moglichst gut angepalit sind. Die verschiedenen Vorverarbei- 
tungsf unktionen werden vom Benutzer direkt oder durch wahr- 
nehmungsbasierten Dialog eingestellt bzw. gewahlt oder auto- 
matisch eingestellt. Die Ubermittlung eines derart verein- 
fachten Bildes an den Retinaencoder ist fur die Gestalterken- 
nung auch bei einer besclirankten Anzahl von kontaktierten 
Nervenzellen des Sehsystems vorteilhaft. Bei der Vorverarbei- 
tung fiir Horprothesen ergeben sich entsprechenden Vorteile, 
wenn komplexe Schallmuster im Wege der Vorverarbeitung fur 
die Spracherkennung aufbereitet werden. 

Im folgenden wird eine Ausfuhrungsform der erf indungsgemafien 
Encodervorrichtung und des zugehorigen Verfahrens anhand der 
Zeichnung erlautert. Es zeigen: 

Fig.l: eine Sehprothese am Beispiel eines Retina Implants; 

Fig. 2: einen lernfahigen Encoder mit Dialogsystem; sowie 

Fig. 3: Schema der Detektoren von Kopfbewegungen und Augen- 
bewegungen, des Retinaencoders vor einem Auge sowie 
einer Halsmanschette zur taktilen Ruckmeldung von 
Objektpositionen; 



Fig. 4: 



eine schematische Darstellung einer implantierten 
Mikrokontaktstruktur zur Stimulation von nicht un- 
mittelbar kontaktiertem Nervengewebe; 
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Fig. 5: die Darstellung einer Szene mit sehr unterschiedlir 
chen Helligkeitsbereichen und Bereichen unter-- - 
schiedlicher Fokussierungsentf ernung; sowie 

Fig. 6: den Verlauf der Helligkeitsstuf en in der Kameraab- 
bildung fur vier verschiedene Bildbereiche aus Fi- 
gur 5 . 

Fig. 1 zeigt schematisch eine Sehprothese am Beispiel eines 
Retina Implants mit einem in einem Brillengestell befestig- 
ten, lernfahigen, sensomotorischen Encoder mit Bildverschie- 
bung, einem nahe der Ganglienzellschicht im Auge implantier- 
ten Interface fur Stimulation und Registrierung als Mikrokon- 
taktstruktur 2 mit Zusat zelektronik und einer bidirektiona- 
len, drahtlosen Signal- und Energietibertragung zwischen En- 
coder und Interface. Die einzelnen spatiotemporalen Filter 
(RF- Filter) des Encoders mit jeweils etwa runden Ausschnitten 
des Photosensorarrays 4 in der Eingangsebene (links) und zu- 
gehorigen Signalausgangen in der Ausgangsebene (Mitte) repra- 
sentieren typische rezeptive Feldeigenschaf ten z.B. von Gang- 
lienzellen der Primatenretina, oder von Neuronen im visuellen 
Cortex und sind durch einen Parametervektor individuell funk- 
tionell verstellbar. Das Interface empfangt nicht nur Stimu- 
lationssignale vom Encoder, sondern sendet seinerseits auch 
registrierte neuronale Impulssignale an den Encoder. Die zu- 
satzlich zum lernfahigen Encoder gehorenden Komponenten, wie 
z.B. die zentrale Kontrolleinheit , oder das den RF-Filtern 
vorgeschaltete Vorverarbeitungsmodul sind in Fig. 1 nicht 
dargestellt . 

Fig. 2 zeigt das Schema eines Encoders 1 mit Dialogsystem in 
Kopplung mit dem zentralen Sehsystem, entweder als Modell 
(Einsatz bei normalsichtiger Person) , oder als reales System 
von der Ebene der implantierten Mikrokontakte bis zur visuel- 
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len Wahrnehmung (Einsatz bei Implantattrager ) . Der Winkel als 
exemplarisches Bildmuster auf dem Photosensorarray (links), 
reprasentiert gleichzeitig ein Sollmuster auf einem Monitor, 
welches sich nach rechts oben bewegt Auf dem anschlieflenden 
internen Bildmusterarray, welches elektronisch im Encoder 
realisiert ist, bewegt sich der Winkel in dem Beispiel von 
einer anderen Ausgangsposition aus in eine andere Richtung, 
um die Funktion einer technischen Bildverschiebung nach An- 
spruch 18 anzudeuten. Der Schirm rechts zeigt das zugehorige 
Ist-Bildmuster und reprasentiert entweder einen zweiten Moni- 
tor (normalsichtige Person), oder eine virtuelle Projektion 
des visuellen Wahrnehmungsraumes ( ImplantattrMger ) Die sich 
von links oben nach rechts unten bewegende elliptische Schei- 
be reprasentiert das korrespondierend wahrgenommene Ist- 
Bildmuster. Der Mensch (unten rechts) artikuliert seine sub- 
jektive Bewertung des Vergleiches zwischen Soil- und 1st- 
Muster iiber eine mehrkanalige Bewertungseingabe . Das Dialog- 
modulals neuronales Netz mit Entscheidungssystem (unten) 
bildet die Ausgangssignale der Bewertungseingabe auf einen 
Parametervektor zur Verstellung der RF-Filter Bei Austausch 
von Bildmustern durch Schallmuster und des Sehsystems durch 
das Horsystem gilt Fig. 1 entsprechend fur den Einsatz des 
Encoders fur Horprothesen . 

Fig. 3 zeigt schematisch eine vorteilhafte Ausgestaltung des 
Encoders beztiglich der Positionierung eines mehrdimensional 
f unktionierenden Kopfbewegungssensors K oberhalb des Ohres, 
eines mehrdimensional f unktionierenden Augenbewegungssensors 
A sowie den in einem Brillengestell integrierten Encoder mit 
angedeutetem bewegtem Bildmuster. Eine Halsmanschette H zur 
Erzeugung von lokalen taktilen Empfindungen z.B. durch Vibra- 
tion gibt dabei dem Benutzer Inf ormationen iiber die relative 
Lage eines Objekts zu ihm selbst. Wandert ein vor ihm liegen- 
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des Objekt nach links aus dem Blickfeld, so wandert der auf . 
dem Hals erzeugte Vibrationsbereich ebenfalls nach links,, wie 
es in Fig. 3 angedeutet ist. 

Die Figur 4 zeigt eine veranschaulichte Darstellung von Mi- 
krokontakten 6, die in Nervengewebe 8 eingreifen. Im vorlie- 
genden Beispiel sind drei Mikrokontakte 16, 17, 18 in das 
Nervengewebe 8 implantiert und dort mehr oder weniger zufal- 
lig nahe bestimmten Nervenzellen positioniert . Die Mikrokon- 
taktstruktur 6, 16, 17, 18 ist in jedem Fall wesentlich gro- 
ber als die Matrix der Nervenzellen 8. Die Mikrokontakte 16, 

- - -1-7,- 1-8- -werden- uber -den .. -Stimula.to.r_ 12-.mit-.Signalen -.Sl., .-S2. und. 

S3 versorgt. 

Um eine gezielte neuronale Anregung zu schaffen, muJ3 bei- 
spielsweise ein Stimulationsf okus F erreicht werden, der 
nicht unmittelbar von einem Mikrokontakt betroffen werden 
kann. Der Stimulationsf okus F kann aber erreicht werden, in- 
dent die Signale SI, S2 und S3 mit unterschiedlichen Starken, 
Zeltverlauf en und vor alien Dingen zeitlichen Abstanden zu- 
einander zu den Elektroden 16, 17 und 18 geleitet werden. Die 
Uberlagerung der erzeugten Signale kann dann so eingerichtet 
werden, dafi das Zusammentref f en der Signale im Bereich des 
angestrebten Stimulationsf okus F die Reizschwelle einzelner 
oder weniger Nervenzellen uberschreitet , wahrend die Addition 
der Signalverlauf e im ubrigen Bereich des Nervengewebes un- 
terhalb der Reizschwelle bleibt. 

Durch Anderung der zeitlichen Abfolge und des zeitlichen Si- 
gnalverlaufs der verschiedenen aufeinander abgestimmten Si- 
gnale kann auch der Stimulationsf okus von F nach F x verlagert 
werden. Fur den Abgleich dieser Anregungsf unktionen, die ei- 
nen Stimulationsf okus erreichen, der nicht unmittelbar mit 
Elektroden in Verbindung steht, ist ein Lernvorgang erf order- 
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lich. Da man nicht genau weifl, welcher Stimulationsf okus F, . 
F x fur eine bestimmte neurale Anregung angesprochen werden 
muJJ, kann die lernfahige sensomotorische Kontrolleinheit nur 
ein bestinuntes Signalmuster anbieten, das der Implantattrager 
iiber eine Sinneswahrnehmung oder eine andere Sensordatenaus- 
wertung dann beurteilt. Ein zweites Signalmuster, das gegen- 
iiber dem ersten verandert wurde, wird dann ebenfalls darauf- 
hin beurteilt, ob es die gezielte neurale Anregung erreicht 
oder nicht. Der Benutzer braucht lediglich zu sagen, ob das 
spatere Signalmuster besser oder schlechter als das vorherige 
geeignet ist. Mit dem Regelmechanismus eines neuronalen Net- 
zes wird im Laufe des Regelvorgangs eine optimale Signal- 
Zeitfunktion fur die Elektroden 16, 17, 18 zur Anregung des 
Stimulationsf okus F ermittelt. 

Die Figur 5 zeigt eine durch die Fotosensoren in der Praxis 
wahrgenommene Szene, bei der eine Terrassentur 30 aus einem 
Raum heraus betrachtet wird. Die Tur 30 weist ein Fenster 31, 
ein Schliisselloch 32 und ein Tiirblatt 33 auf . Vor der Tur 
hangt eine Spinne 34, und durch das Fenster 31 ist eine 
Strandszene 35 sichtbar. 

Die Beleuchtungsunterschiede in dieser Szene liegen zwischen 
etwa 10" 1 cd/m 2 im Bereich des Turschlosses tiber 10'' cd/m 2 im 
Bereich der Spinne und 10 1 cd/m 2 im Bereich des Turblattes 
bis hin zu 10 4 - 10 s cd/m ? im Aufienbereich . Derartige Hellig- 
keitsunterschiede sind simultan mit herkommlichen Kameras und 
im Ubrigen auch mit dem menschlichen Auge nicht sichtbar. Die 
Helligkeitsanpassung erfolgt immer nur in dem jeweils be- 
trachteten Bereich. 

In der Figur 6 ist in Gestalt eines Diagramms dargestellt, 
wir das Vorverarbeitungsmodul der Kamera 1 aufgrund seiner 
Mustererkennungsfuktionen die einzelnen Bereiche voneinander 
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abgrenzt und mit unterschiedlichen Funktionen in Helligkeitsr 
stufen der Kameraabbildung umsetzt. Auf der x-Achse ist die 
Leuchtdichte in cd/m 2 iiber insgesamt 9 Dekaden auf gezeichnet, 
so wie sie im realen Bild der Figur 5 auftritt. Die y-Achse 
zeigt die 256 relativen Einheiten der Helligkeitsinf ormation, 
die von der Kamera bzw. deren Vorverarbeitungsmodul der Bild- 
darstellung zugewiesen wird. 256 Einheiten entsprechen einer 
Helligkeitsmodulation von 8 Bit. 

Eine erste Leuchtdichtekurve L32 zeigt den Bereich der 
Leuchtdichte des Tilrschlosses 32, abgebildet auf die 256 re- 

lativen -He-l-l-igk-eitsstu-f-en- der-Kameraabbildung-.—Entsprechende 

Helligkeitskurven L33 fur das Turblatt 33, L34 fiir die Spinne 
34 und L35 fiir den Aufienbereich 35 sind ebenfalls darge- 
stellt . 

Das Vorverarbeitungsmodul erkennt in der eingehenden Abbil- 
dung unterschiedliche, konturenscharf voneinander abgegrenzte 
Bereiche mit den vier unterschiedlichen Helligkeitsbereichen . 
Diese Bereiche werden rechnerisch voneinander getrennt und 
jeweils mit optimaler Aufldsung auf die 256 Helligkeitsstufen 
der Kameraabbildung transponiert . Im Ergebnis zeigt sich dem 
Betrachter der Szene gemafi Figur 5 ein Bild, bei dem die 
Bildbereiche 32, 33, 34 und 35 in der Darstellung gleich hell 
und mit entsprechender Strukturierung in den verschiedenen 
Helligkeitsstufen dargestellt werden. Eine solche Darstellung 
kann ungewohnt sein, sie bietet aber einen Detailreichtum in 
verschiedenen Regionen, der weder mit dem menschlichen Auge 
noch mit herkdmmlichen Kamerasystemen simultan darstellbar 
ist . 



Die Abbildung gemafi Figur 5 zeigt auch Objekte unterschiedli- 
cher Distanz. So sind die Objekte 32, 33 und 34 beispielswei- 
se auf einer Entfernung von 2 m vom Betrachter angeordnet, 
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wahrend die dem Auftenbereich 35 zugeordnete Palme 36 in einer 
Entfernung von 40 m stehen kann . Mit herkommlichen Kameraob- 
jektiven ist es in der Regel nicht moglich, beide Objekte 34 
und 35 gleichzeitig scharf zu stellen. Die verfiigbaren Tie- 
f enscharf enbereiche reichen hierfiir in der Regel nicht aus . 

Der lernfahige sensomotorische Encoder kann gemeinsam mit dem 
Vorverarbeitungsmodul zunachst den entfernt liegenden Bereich 
35 scharf stellen und dort konturenscharf abgegrenzte Regio- 
nen (Palme) erkennen und speichern. Sodann kann ein zweiter 
Entf ernungsbereich gewahlt werden, bei dem die Spinne 34 
-scharf e i-nge s t ell t --w-i-rd-,— -wa h r end-de-r— Be r e-i ch - 35- un schar f 
wird. Das Vorverarbeitungsmodul kann diesen Umstand erkennen 
und anstelle des unscharf gewordenen Bereichs 35 den zuvor 
ermittelten und gespeicherten scharfen Bildinhalt rechnerisch 
in das auf kurze Entfernung fokussierte Bild einfiigen. Diese 
Abfolge kann in einer Art Fokusscanning zyklisch wiederholt 
werden, so daft standig aus verschiedenen Fokussierungsentf er- 
nungen scharfe Bereiche ermittelt, gespeichert und zu einem 
insgesamt scharfen Bild zusammengef ugt werden. Die Tiefen- 
scharfe, die auf diese Art und Weise virtuell erreichbar ist, 
iibersteigt diejenige eines normalen optischen Systems urn ein 
Vielf aches. Bei ausreichender Wiederholf requenz des Verfah- 
rensablaufs ist fur den Benutzer das erzeugte Bild von einem 
realen Bild nur anhand der besonders groften Tief enscharf e zu 
unterscheiden. 

Erf indungsgemafi wird ein Encoder vorgeschlagen, der diverse 
Funktionen durch neuronale Netze im Dialog mit dem Implantat- 
trager optimiert, bei dem verschiedene Funktionsmoden ange- 
wahlt sowie die Positionen erfaftter Objekte wahrgenommen wer- 
den konnen und der vor Hindernissen warnt, die technische Er- 
kennung von Mustern meldet sowie die Zahl der selektiv er- 
reichbaren Stimulationsorte funktionell erhoht und die neuro- 
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nale Aktivitat einzelner Neuronen uberwacht. Die implantiert.e 
Struktur kann unter Verwendung geeigneter sensorischer und 
aktorischer Komponenten sowie eines lernfahigen Kontrollsy- 
stems teilweise autonom sensomotorisch agieren. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfin- 
dung sind den Unteranspruchen entnehmbar. 

Der lernfahige Encoder zeichnet sich gegenuber den bekannten 
Sehprothesensystemen durch eine Reihe von wesentlichen Vor- 
teilen aus . Erstmals wird hier ein Encoder vorgeschlagen, der 
bereits von normalsichtigen Personen vortrainiert und an- 
schlieftend vom Implantattrager dem Funktionsbedarf individu- 
ell angepaftt werden kann. Erstmals wird hier ein Encoder of- 
fenbart, der sowohl Augenbewegungsf unktionen leisten als auch 
unerwiAnschte Augenbewegungen kompensieren kann. Ferner wird 
erstmals ein Encoder offenbart, der die Zahl der selektiv er- 
reichbaren Stimulationsorte funktionell erhoht und sich auch 
spater an neue Stimulationsbedingungen anpassen kann. Ferner 
wird erstmals ein Encoder offenbart, der bidirektional funk- 
tioniert, also neben der Stimulationsf unktion auch eine Uber- 
wachung und Auswertung der neuronalen Aktivitat der zu stimu- 
lierenden Neuronen gestattet. Entsprechende Vorteile ergeben 
sich bei Einsatz des lernfahigen Encoders gegenuber den bis- 
her entwickelten Horprothesensyste'men . 

Die Anpassungsf ahigkeit der Abbildungsf unktionen der einzeln 
justierbaren spatiotemporalen Filter des Encoders mit rezep- 
tiven Feldeigenschaften (RF-Filter) im gesamten neurophysio- 
logisch relevanten Funktionsraum wird im Verband mit neurona- 
len Netzen oder anderen Parametereinstellverf ahren beim Ein- 
satz fur Seh- oder Horprothesen sichergestellt . 
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Die individuell im wahrnehmungsbasierten Dialog f estzulegen- . 
den Abbildungsf unktionen der einzelnen RF-Filter werden den 
vom Sehsystem erwarteten rezeptiven Feldeigenschaf ten hinrei- 
chend ahnlich, passen sich also der Funktion des aus Hinter- 
einanderschaltung von Encoder und angekoppeltem zentralem 
Sehsystem bestehenden visuellen Systems an. Dies bedeutet ei- 
nerseits, dali der durch RF-Filter bereitgestellte, spatiotem- 
porale Funktionsraum den neurophysiologisch relevanten Funk- 
tionsraum einschliefit und andererseits, daft die RF-Filter 
durch Parameterverstellung mit Hilfe eines neuronalen Netzes 
eine kontinuierliche Bewegung im Funktionsraum mit geeigneten 
Einstellverf ahren gestatten. Entsprechendes gilt bei Einsatz 
des Encoders in Horprothesen. 

Bereits im Einsatz mit normalsichtigen Personen wird eine 
sinnvolle Voreinstellung der RF-Filter in Anlehnung an ent- 
sprechende neurophysiologische Daten zur Funktion des Sehsy- 
stems bzw. Horsystems von Primaten vorgenommen. Das Dia- 
logverfahren wird dazu mit den zugehdrigen Komponenten unter 
realistischen Bedingungen durch Simulation des Wahrnehmungs- 
prozesses erprobt. Entsprechendes gilt bei Einsatz des En- 
coders in Horprothesen. 

Die den einzelnen Mikrokontakten zugeordneten RF-Filter wer- 
den individuell im Dialog zwischen ' Encoder und Implantattra- 
ger auf optimale visuelle bzw. auditorische Wahrnehmungsqua- 
litat abgestimmt. 

Im Unterschied zu einem Encoder mit starrer Vorverarbeitung, 
also ohne individuelle Verstellmoglichkeit , werden hier auf 
der Basis des einzig relevanten Kriteriums, namlich der er- 
zielten Sehwahrnehmung oder Horwahrnehmung, die einzelnen RF- 
Filter als separate Encoderkanale justiert. Spatere Funkti- 
onsanderungen der Sehprothese, z.B. infolge der Verlagerung 
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von Mikrokontakten, oder von Anderungen des Funktionsanteiles. 
des zentralen Sehsystems am gesamten Wahrnehmungsprozeii kon- 
nen durch entsprechende Anpassungen der RF-Filterf unktion 
ausgeglichen werden. Ein Vorteil der Abstimmung der RF-Filter 
Funktion im Dialog mit dem Implantattrager besteht in der Be- 
rucksichtigung von Funktionsaspekten, die nur der jeweilige 
Implantattrager und nur in impliziter Form durch subjektive 
Bewertung seiner Sehwahrnehmung und deren Verwendung fur die 
Encoderjustierung in den Optimierungsprozeli einbringen kann. 
Entsprechendes gilt fur eine Hdrprothese. 

-Di-e- asynchronen -l-mpu-1-s-f- ©ig-en- der- elnzelne-n-RF-^Eii-l-ter-ausgange 

der zunachst funktionell getrennten Encoderkanale werden als 
Stimulationssignale fur selektive Stimulationsorte im Dialog 
mit dem Implantattrager unter Berucksichtigung der regi- 
strierten neuronalen Impulse aufeinander abgestimmt . 

Weil die zeitliche Kopplung bzw. Synchronisation der neurona- 
len Impulse mehrerer Neuronen zur neurobiologischen Signalco- 
dierung in sensorischen Systemen mitverwendet wird, bringt 
diese hier technisch (auch durch Auswertung der registrierten 
neuronalen Aktivitat zu stimulierender Neuronen) realisierte, 
zeitliche Kopplung den Vorteil einer Verbesserung der visuel- 
len Wahrnehmungsqualitat . 

Die Zahl der selektiv erreichbaren Stimulationsorte und deren 
Trennscharfe bzw. Obersprechdampf ung bei einer festen Zahl 
von implantierten Mikrokontakten wird funktionell erhoht . 

Bei einer gegebenen relativ geringen Zahl implant ierter und 
dauerhaft f unktionstuchtiger Mikrokontakte, deren Position 
relativ zu den Neuronen nicht modifiziert werden kann, ist es 
von groBem Vorteil, funktionell, also durch Erzeugung geeig- 
neter Signale, die Zahl der selektiv erreichbaren Stimulati- 
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onsorte bzw. Neuronen und damit gleichzeitig die Zahl der se- 
parat verfugbaren Encoderkanale bei einer hinreichenden Re- 
serve an RF-Filtern zu erhohen. Dies bewirkt eine Verbesse- 
rung der visuellen Wahrnehmungsqualitat. 

Die Detektion der Augen- und Kopfbewegungen hat den Vorteil 
der Bestimmung der aktuellen Position von visuellen Objekten 
im Raum. Ferner besteht ein Vorteil darin, unerwtinschte reale 
Augenbewegungen durch entsprechend simulierte Augenbewegungen 
zu kompensieren und ferner Sehwahrnehmungskonf likte, wie z.B. 
Scheinbewegungen, oder Schwindel zu unterdrucken . 

Die Erzeugung der einzelnen Bewegungsf unktionen als separat 
oder kombiniert wahlbare Programme hat den Vorteil, dafi der 
Implantattrager die Programme je nach dem Nutzen fiir die vi- 
suelle Wahrnehmungsqualitat selbst wahlen kann, statt einer 
automatischen Funktion unterworfen zu sein. Dennoch ist eine 
Entscheidung zwischen Automatik und Wahlbetrieb moglich. 

Es ist fiir den Implantattrager von sehr grofter Bedeutung, die 
aktuelle Position eines wahrgenommenen visuellen oder audito- 
rischen Objektes wahrnehmen zu konnen, urn seine Orientierung 
im Raum und ggf . Handlungen danach richten zu konnen. Ferner 
ist es von grofiem Vorteil, dafi der Implantattrager vor Hin- 
dernissen bzw. Gefahren automatisch gewarnt wird und die 
technische Erkennung von Mustern oder Objekten zur Unterstilt- 
zung der Orientierung im Raum gemeldet wird. 

Mit dem Encoder wird eine direkte Verbindung zu einem Teil 
des Nervensystems hergestellt, welches bereits spontan aktiv 
ist. Es werden also neuronale Impulse von einzelnen Neuronen 
ohne technische Stimulation generiert. Zur optimalen Anpas- 
sung der Stimulationspulsf olgen an die jeweilige Spontanakti- 
vitat, zur genauen Bestimmung der Stimulationsparameter fiir 
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eine sichere und gleichzeitig noch biologisch vertragliche 
Umsetzung von Stimulationspulsen in neuronale Impulse sowie 
zur besseren Optimierung der zeitlichen Abstimmung und Syn- 
chronisation der neuronalen Aktivitat mehrerer Neuronen ist 
die Uberwachung der neuronalen Aktivitat einzelner zu stimu- 
lierender Neuronen von grofiem Vorteil. 

Mit der technischen Anpassung des Arbeitsbereiches ist es 
moglich, im physiologisch helladaptierten oder dunkeladap- 
tierten Leuchtdichtebereich die Funktion an die Bildmuster 
oder Schallmuster anzupassen, die spatiotemporalen Filterpa- 
r-amete-r- -entsprechend - zu- .v-a-r-i.i.er.en.. / ._-.o.de.rL-e.inen.._Arhei.tshereich. 
technisch zusammenzustellen, der z.B. aus um Dekaden vonein- 
ander entfernten Teilbereichen des grofien Photosensorf unkti- 
onsbereiches besteht. 

Vorverarbeitung eintref fender Bildmuster insbesondere beziig- 
lich mit schneller Wahl- und Anderungsmoglichkeit der jewei- 
ligen Vorverarbeitungsf unktionen wird erf indungsgemaU nach 
dem Vorschlag gemali Anspruch 7 ermoglicht. 

Mit dem vorgeschalteten Vorverarbeitungsmodul kann die Funk- 
tion des aus einer nur begrenzten Zahl von RF-Filtern beste- 
henden Encoders durch wesentliche Vereinf achung des Bildmu- 
sters oder Schallmusters erleichtert und entsprechend die 
Wahrnehmungsqualitat verbessert werden. 
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Pa ten tanspr tiche 

1. Lernfahiger, sensomotorischer Encoder (1) fur eine Seh- 
prothese oder Horprothese, mit einer zentralen Kontrol- 
leinheit fur Signalverarbeitungsf unktionen, Oberwa- 
chungsfunktionen, Steuerf unktionen und externe Ein- 

. - . . -gr-i-£f s-f-unk4:4one 

spatiotemporalen Filtern zur Umsetzung von Sensorsigna- 
len in Stimulationspulsf olgen, dadurch g e - 
kennzeichnet, daft die Sehprothese oder Hor- 
prothese eine bidirektionale Schnittstelle zur Kopplung 
des Encoders (1) mit einer implantierbaren Mikrostruktur 
(2,6) zur Stimulation von Nerven- oder Gliagewebe einer- 
seits sowie zur FunktionsUberwachung von Hirnf unktionen 
andererseits vorgesehen ist. 

2. Encoder nach Anspruch 1, dadurch g e - 
kennzeichnet, daft die Kontrolleinheit in 
einem wahrnehmungsbasierten Dialogverf ahren einstellbare 
spatiotemporale Filter mit rezeptiven Feldeigenschaf ten 
(RF- Filter) umfaftt. 

3. Encoder nach einem der vorhergehenden Anspriiche, da- 
durch gekennzeichnet, daft ein si- 
muliertes Augenbewegungssystem mit Kopf- und Augenbewe- 
gungsdetektoren (K, A) vorgesehen ist. 
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4. Encoder nach einem der vorhergehenden Anspriiche, d a - . 
durch gekennzeichnet, daft den RF- 
Filtern steuerbare Zeitverzogerungsglieder fur die rela- 
tive zeitliche Abfolge der erzeugten Impulsfolgen 

(Si, S2/S3) zugeordnet sind. 

5. Encoder nach einem der vorhergehenden Anspriiche, d a - 
durch gekennzeichnet, daft ein Mo- 
nitor vorgesehen ist, der die von den RF-Filtern erzeug- 
te Abbildungsfunktion zumindest naherungsweise inver- 

_ti e-r-t- und-opt is ch _o.de r. . a kus.ti.sjch_ji_arste_ll.t- . . 

6. Encoder nach einem der vorhergehenden Anspriiche, d a - 
durch gekennzeichnet, daft implan- 
tatseitig eine Vorrichtung zur von der zentralen Kon- 
trolleinheit gesteuerten Applikation eines Wirkstoffs 
vorgesehen ist und daft implantatseitig die neuronale Ak- 
tivitat von Neuronen registriert und an ein Oberwa- 
chungssystem der zentralen Kontrolleinheit iibergeben 
wird. 

1. Encoder nach einem der vorhergehenden Anspriiche, d a - 
durch gekennzeichnet, daft ein 
lernfahiges Vorverarbeitungsmodul in der zentralen Kon- 
trolleinheit des Encoders (1) zur Vereinf achung von 
Bildmustern oder Schallmustern vorgesehen ist. 

8. Verfahren zum Betrieb eines Encoder nach einem der vor- 
hergehenden Anspriiche, dadurch gekenn- 
zeichnet , daft 

- zur individuellen Einstellung der Signalverarbeitungs- 
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funktionen in einem Dialogverf ahren eine wenigstens 
einkanalige Bewertungseingabeeinheit (3) mit einem sub- 
jektiven Bewertungsvektor gespeist wird, wobei der Be- 
wertungsvektor die Ahnlichkeit des jeweils wahrgenomme- 
nen Bildmusters - oder Schallmusters - mit einem Sollmu- 
ster reprasentiert , 

- daii der Bewertungsvektor in dem Dialogmodul (3) an ein 
Parametereinstellungssystem zur Erzeugung geeigneter 
Folgen von Parametervektoren, insbesondere an ein neuro- 
nales Netz mit nicht-tiberwachter Lernregel, ubergeben 
wird, 

und dafi das Dialogmodul (3) an einem mehrkanaligen 
Ausgang einen Parametervektor fiir die jeweils einzustel- 
lenden Signalverarbeitungsf unktionen erzeugt. 

9. Verf ahren nach Anspruch 8, dadurch gekenn- 
zeichnet, daft die Signalverarbeitungsf unktionen von 
RF-Filtern gebildet werden. 

10. Verf ahren nach einem der vorhergehenden Anspriache, 
dadurch gekennzeichnet, daJi das 
Dialogmodul (3) in einem Entscheidungssystem geeignete 
Mustersequenzen fiir die Lernphase zur einzelnen oder 
gruppenweisen Optimierung der RF- Filter festlegt. 

11. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft in- 
tern gespeicherte Sequenzen von Parametervektoren zur 
Festlegung von typischen RF-Filterfunktionen erzeugt 
werden. 
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12. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft die 
RF-Filter einen spatiotemporalen Funktionsraum haben, 
der den Funktionsraum der rezeptiven Feldeigenschaf ten 
visueller oder auditorischer Neuronen am jeweiligen Im- 
plantationsort einschlieftt. 

13. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft ein 

_ von .den .RF- Filter n ^r^eugtes Signal (Si, S_-, S$) zur Auslo- 
sung einer Ist-Wahrnehmung an die implantierbare Mi- 
krostruktur (2,6) und simultan das dazugehorige Sollmu- 
ster an eine zweite Ausgabeeinheit , die einem anderen 
menschlichen Sinnesorgan zuganglich ist, abgegeben wird. 

14. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft zur 
funktionellen Erhohung der Zahl und Trennscharf e der se- 
lektiv erreichbaren Stimulationsorte ( F, F ' ) bei einer 
gegebenen Zahl von stationar implantierten Mikrokontak- 
ten (2,6) die Impulssignale (Si,Sj,S 3 ) von jeweils einem 
RF-Filter an mehrere, ortlich . benachbarte Mikrokontakte 
(16,17,18) geleitet werden. 

15. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft die 
selektiven Stimulationsorte (F, F' ) durch geeignete Va- 
riation der superponierten Impulssignale (Si,S 2 ,S 3 ) zur 
ortlichen Verlagerung des Stimulationsf ocus (F, F' ) 
schnell gewechselt werden konnen. 
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16. Verfahren nach einem der vorhergehenden Anspruche, 

dadurch gekennzeichnet, daft die 
Variation der Stimulationssignale (Si, Su, S^) zur Verlage- 
rung des Stimulationsf ocus ( F, F ' ) im wahrnehmungsbasier- 
ten Dialog mit dem Implantattrager iiber ein neuronales 
Netz oder andere Optimierungsalgorithmen in der zentra- 
len Kontrolleinheit zur Bestimmung moglichst vieler, zu 
selektiver und trennschar f er neuronaler Erregung ftihren- 
der Stimulationsorte erfolgt. 

17 Verfahren nach einem der vorhergehenden Anspruche/ 

dadurch gekennzeichnet, daft 
durch Vergleich registrierter neuronaler Impulse mit den 
Stimulationssignalen (Si , S.h) die aus spontan auftre- 
tenden neuronalen Impulsen und durch Stimulation erzeug- 
ten zusatzlichen Impulsen zusammengesetzte neuronale Er- 
regung beziiglich der Selektivitat und der Biovertrag- 
lichkeit verbessert wird. 

18. Verfahren nach einem der vorhergehenden Anspruche, da- 
durch gekennzeichnet, daft zur Simulation von 
Augenbewegungen Kopfbewegungen und unerwiinschte reale 
Augenbewegungen detektiert werden, daft Augenbewegungen 
mittels elektronischer Bildmusterverschiebung und/oder 
optischer Variation der Blickrichtung und/oder Bewegung 
der Photosensoren simuliert werden, daft unter Verwendung 
der detektierten realen Kopf- und Augenbewegungssignale 
sowie der Simulation der Augenbewegungen mittels einer 
Bewegungssteuerung oder -regelung schnelle und langsame 
Augenbewegungen fur Aufgaben der Mustererkennung , Ver- 
folgung bewegter Objekte und zum schnellen Umherblicken 
erzeugt werden. 
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19. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daJi . 
Kopfbewegungen und reale Augenbewegungen detektiert wer- 
den und dafi unter Verwendung der detektierten Kopf- und 
Augenbewegungen mit Hilfe einer Bewegungssteuerung oder 
-regelung schnelle und langsame simulierte Augenbewegun- 
gen erzeugt werden, urn unerwiinschte reale Augenbewegun- 
gen oder Scheinbewegungswahrnehmungen zu kompensieren . 

20. Verfahren nach einem der vorhergehenden Anspriiche, 

d ~a_ xl.. _u _ r_ g h g e k e n n z e i c h n et/ d afi zur 

Lagestabilisierung der Bildmuster bei naturlichen Kopf- 
Rumpfbewegungen kompensatorische Augenbewegungen in An- 
lehnung an den vestibulo-okularen Reflex erzeugt werden. 

21. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daB zur 
technischen Anpassung des Leuchtdichtearbeitsbereiches 
aus dem tiber mehrere Leuchtdichtedekaden reichenden 
Funktionsbereich des Photosensorarrays (4) ein Arbeits- 
bereich fur den Encoder (1) bezuglich Grofie und Adapta- 
tionsleuchtdichte gewahlt werden kann, und dafl dieser 
ausgewahlte Arbeitsbereich aus nichtlinear bewerteten 
Ausschnitten des Funktionsbereichs zusaminengesetzt wer- 
den kann. 
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22. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dafi 
durch ein geeignetes Abbildungsystem visuelle Szenen 
(32,33,34,35) mit ortlichen Teilbereichen sehr unter- 
schiedlicher Leuchtdichte (L32, L33, L34, L35) in den je- 
weiligen, gemeinsamen Leuchtdichtearbeitsbereich des En- 
coders transponiert werden konnen und damit beispiels- 
weise die visuelle Wahrnehmung invariant gegeniiber einer 
Veranderung der mittleren Szenenleuchtdichte gemacht 
wird. 



23. Verfahren nach einem der vorhergehenden .Anspruche, 
dadurch gekennzeichnet, dafi die 
RF-Filterfunktionen zur Simulation der Wahrnehmung im 
hell- Oder dunkel adaptierten Bereich bei Bedarf mit dem 
Leuchtdichte-Arbeitsbereich des Encoders verstellt wer- 
den. 

24. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dafi so- 
wohl die Leuchtdichte-Arbeitsbereichswahl als auch die 
zugehorige RF-Filterverstellung insbesondere im wahrneh- 
mungsbasierten Dialog automatisch wahrend simulierter 
Augenbewegungen, oder wahrend der Mustererkennung 
schnell verandert werden konnen. 

25. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dafi in 
einem Ablauf durch Variation der Akkommodation zunachst 
erste Bereiche (35,36) des Blickfeldes scharf einge- 



WO 98/36795 Best Available Copy PCT/EP98/00968 

- 35 - 

stellt werden, diese Bereiche (35,36) gespeichert wer- 
den, sodann zweite Bereiche (32,33,34) des Blickfeldes 
als Bild scharf eingestellt werden, wobei die ersten Be- 
reiche (35,36) unscharf werden, und dafi die ersten ge- 
speicherten Bereiche (35,36) anstelle der ersten un- 
scharf gewordenen Bereiche (35,36) in das Bild einge- 
blendet werden. 

26. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft der 

Ablaut s.ich zyklisch wiederholt. 

27. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft die 
vom Encoder (1) unter Auswertung von Bildmuster-, Augen- 
und Kopfbewegungen ermittelte Position eines visuell er 
faftten Objektes im Raum, oder daft die unter Auswertung 
von Schallmusterbewegungen ermittelte Position eines au 
ditorisch erfaftten Objektes im Raum mit einem geeigne- 
ten, mitgefiihrten Signalgeber (H) an ein geeignetes Sin 
nesorgan gemeldet wird. 

28. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft der 
Encoder durch interne Mustererkennungsprogramme, insbe- 
sondere in Verbindung mit automatisch ablaufenden, simu 
lierten Augenbewegungen, den Implantattrager vor Hinder 
nissen oder Gefahren warnt sowie Art und Position tech- 
nisch erkannter Muster oder Objekte meldet. 
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Zeile 34; Abbildungen 2.3 

KOCH C ET AL: "NEUROMORPHIC VISION CHIPS- 
IEEE SPECTRUM, 
Bd. 33, Nr. 5. 1 .Mai 1996. 
Seiten 38-46, 68, XP000597262 
siehe Seite 38, linke Spalte, Zeile 1 - 
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